知识点标签表

一级标签	二级标签	三级标签	备注
AI	信息搜集	模型信息搜集
AI	信息搜集	数据集信息搜集
AI	模型攻击	对抗样本攻击
AI	模型攻击	模型反向工程
AI	模型攻击	模型数据窃取
AI	模型攻击	模型窃取攻击
AI	模型攻击	模型越狱攻击
AI	模型攻击	模型后门攻击
AI	数据攻击	数据投毒攻击
AI	数据攻击	数据伪造攻击	深度伪造攻击
AI	模型评估	模型性能评估	模型的准确性、公平性、鲁棒性、安全性….
AI	模型评估	模型公平性评估
AI	模型评估	模型可解释性
AI	模型防御	增强训练
AI	模型防御	模型加密
AI	模型防御	输入规范化	对数据数据进行处理
AI	模型防御	输出结果校验	对输出的结果进行审核
AI	模型防御	防御性蒸馏
AI	模型防御	隐私保护技术
AI	模型防御	模型监控	模型监控（Model Monitoring）是指对机器学习模型在生产环境中的运行状况进行持续观察和评估，以确保其性能和行为符合预期，并在发现异常或问题时及时采取措施。
AI	数据处理	数据预处理	安全场景下，数据处理相关的赛题
AI	安全防御	安全模型训练	把模型用在防御场景中、入侵检测、流量分析、行为审计…..
AI	系统安全	沙箱攻击	沙箱是大模型系统的重要设施之一，从安全角度上看，沙箱应该在不同的聊天会话之间隔离。该攻击可以实现类似于信息跨会话漏洞的发生，导致出现xx问题。
AI	系统安全	模型智能体攻击	模型应用在下游任务，可能会涉及到很多工具上的交互，该攻击主要聚焦在交互面的攻击。比如大模型智能体，可能会根据用户的意图去调用xx工具，调用的过程中如何让模型调用错误的工具，导致出现xx问题。